Redis klasterizavimas: jūsų atmintyje esančios duomenų bazės mastelio keitimas pasaulinėms programoms

Šiuolaikiniame sparčiai besikeičiančiame skaitmeniniame pasaulyje programoms reikalinga žaibiška prieiga prie duomenų ir gebėjimas apdoroti didžiulius srautus. Atmintyje esančios duomenų bazės (IMDB), tokios kaip „Redis“, tapo esminiais komponentais siekiant šio našumo. Tačiau vienas „Redis“ egzempliorius gali plėstis tik iki tam tikros ribos. Čia į pagalbą ateina „Redis“ klasterizavimas, siūlantis horizontalųjį mastelio keitimą, aukštą prieinamumą ir atsparumą gedimams jūsų pasauliniu mastu paskirstytoms programoms.

Kas yra „Redis“ klasterizavimas?

„Redis Cluster“ yra paskirstyta „Redis“ implementacija, kuri automatiškai skaido duomenis tarp kelių „Redis“ mazgų. Skirtingai nuo vieno egzemplioriaus „Redis“ sąrankų, „Redis“ klasteris gali apdoroti duomenų rinkinius, viršijančius vieno serverio atminties talpą. Jis taip pat užtikrina aukštą prieinamumą, replikuodamas duomenis tarp kelių mazgų, taip užtikrinant, kad jūsų programa išliktų veikianti, net jei kai kurie mazgai sutriktų.

Įsivaizduokite tai kaip didžiulės bibliotekos (jūsų duomenų) paskirstymą tarp kelių filialų („Redis“ mazgų) skirtinguose miestuose. Kiekviename filiale yra dalis knygų (duomenų), o jei vienas filialas užsidaro (mazgo gedimas), kiti filialai turi svarbiausių knygų kopijas (duomenų replikacija), kad galėtų toliau aptarnauti bendruomenę.

Pagrindiniai „Redis“ klasterizavimo privalumai

• Horizontalus mastelio keitimas: Lengvai keiskite savo „Redis“ diegimo mastelį, pridėdami daugiau mazgų į klasterį. Tai leidžia jums valdyti didėjančias duomenų apimtis ir srautus be didelio našumo sumažėjimo. Skirtingai nuo vertikalaus mastelio keitimo (pridedant daugiau resursų vienam serveriui), horizontalus mastelio keitimas siūlo ekonomiškesnį ir lankstesnį požiūrį.
• Aukštas prieinamumas: „Redis“ klasteris automatiškai aptinka mazgų gedimus ir paaukština replikos mazgus į pagrindinius (master), užtikrindamas minimalias prastovas. Duomenų replikacija užtikrina, kad duomenys nebus prarasti gedimo atveju. Tai yra gyvybiškai svarbu programoms, reikalaujančioms nuolatinio prieinamumo, pavyzdžiui, el. prekybos platformoms ar realaus laiko analizės skydeliams.
• Atsparumas gedimams: Klasteris gali toliau veikti, net jei kai kurie mazgai sugenda. Tai pasiekiama per duomenų replikaciją ir automatinius perjungimo mechanizmus. Sistema yra atspari gedimams, kai ji gali susidoroti su netikėtomis aparatinės ar programinės įrangos klaidomis be didelių sutrikimų.
• Automatinis duomenų skaidymas: „Redis“ klasteris automatiškai paskirsto duomenis tarp kelių mazgų, naudodamas nuoseklųjį maišos algoritmą (consistent hashing). Tai užtikrina, kad duomenys būtų paskirstyti tolygiai ir kad kiekvienas mazgas valdytų pagrįstą apkrovos dalį. Skaidymo procesas yra skaidrus programai, o tai reiškia, kad jums nereikia rankiniu būdu valdyti duomenų paskirstymo.
• Duomenų replikacija: Kiekvienas pagrindinis mazgas gali turėti kelis replikos mazgus, kurie automatiškai sinchronizuojami su pagrindiniu mazgu. Tai užtikrina duomenų dubliavimą ir leidžia skaitymo operacijas paskirstyti tarp kelių mazgų, dar labiau pagerinant našumą.

„Redis“ klasterio architektūra

„Redis“ klasterį sudaro šie komponentai:

• Mazgai: Kiekvienas klasterio mazgas yra „Redis“ egzempliorius, saugantis dalį duomenų. Mazgai gali būti pagrindiniai (master) arba replikos (replica) mazgai.
• Pagrindiniai mazgai: Pagrindiniai mazgai yra atsakingi už rašymo operacijų valdymą ir skaitymo operacijų aptarnavimą. Kiekvienas pagrindinis mazgas valdo dalį klasterio duomenų.
• Replikos mazgai: Replikos mazgai yra pagrindinių mazgų kopijos. Jie naudojami duomenų dubliavimui užtikrinti ir taip pat gali aptarnauti skaitymo operacijas. Jei pagrindinis mazgas sugenda, viena iš jo replikų automatiškai paaukštinama, kad taptų nauju pagrindiniu mazgu.
• Maišos laiko tarpsniai (Hashing Slots): „Redis“ klasteris naudoja nuoseklųjį maišos algoritmą duomenims paskirstyti tarp mazgų. Raktų erdvė yra padalinta į 16384 maišos laiko tarpsnius. Kiekvienas pagrindinis mazgas yra atsakingas už dalį šių laiko tarpsnių. Kai klientas nori pasiekti tam tikrą raktą, jis apskaičiuoja to rakto maišos laiko tarpsnį ir siunčia užklausą pagrindiniam mazgui, kuris valdo tą laiko tarpsnį.
• Klasterio magistralė (Cluster Bus): Mazgai bendrauja tarpusavyje naudodami specialų komunikacijos kanalą, vadinamą klasterio magistrale. Klasterio magistralė naudoja „gossip“ protokolą keistis informacija apie klasterio topologiją, mazgų būsenas ir duomenų nuosavybę. Tai leidžia mazgams automatiškai atrasti vieniems kitus ir palaikyti nuoseklų klasterio vaizdą.

„Redis“ klasterio sąranka

„Redis“ klasterio sąranka apima šiuos veiksmus:

1. Įdiekite „Redis“: Įsitikinkite, kad „Redis“ yra įdiegtas visuose serveriuose, kurie bus klasterio dalis. Siekiant optimalaus našumo ir saugumo, rekomenduojama naudoti naujausią stabilią „Redis“ versiją.
2. Konfigūruokite „Redis“ egzempliorius: Konfigūruokite kiekvieną „Redis“ egzempliorių, kad jis veiktų klasterio režimu. Tam reikia nustatyti parinktį cluster-enabled į yes faile redis.conf. Jums taip pat reikia sukonfigūruoti parinktis cluster-config-file ir cluster-node-timeout.
3. Sukurkite klasterį: Naudokite komandą redis-cli --cluster create, kad sukurtumėte klasterį. Ši komanda priima „Redis“ egzempliorių sąrašą kaip argumentus ir automatiškai sukonfigūruoja juos, kad sudarytų klasterį. Komanda taip pat automatiškai priskirs maišos laiko tarpsnius pagrindiniams mazgams.
4. Pridėkite replikos mazgus: Pridėkite replikos mazgus į klasterį naudodami komandą redis-cli --cluster add-node. Ši komanda priima replikos mazgo adresą ir pagrindinio mazgo adresą kaip argumentus. Komanda automatiškai sukonfigūruos replikos mazgą, kad jis replikuotų duomenis iš pagrindinio mazgo.
5. Išbandykite klasterį: Patikrinkite, ar klasteris veikia teisingai, prisijungdami prie jo naudojant redis-cli ir atlikdami keletą pagrindinių operacijų, pavyzdžiui, raktų nustatymą ir gavimą. Jūs taip pat galite naudoti komandą redis-cli cluster info, kad peržiūrėtumėte klasterio būseną ir patikrintumėte, ar visi mazgai veikia tinkamai.

Pavyzdys: 6 mazgų „Redis“ klasterio kūrimas (3 pagrindiniai, 3 replikos)

Tarkime, turite 6 serverius su šiais IP adresais ir prievadais:

• 192.168.1.101:7000
• 192.168.1.102:7001
• 192.168.1.103:7002
• 192.168.1.104:7003
• 192.168.1.105:7004
• 192.168.1.106:7005

Viename iš serverių (pvz., 192.168.1.101) paleiskite šią komandą:

redis-cli --cluster create 192.168.1.101:7000 192.168.1.102:7001 192.168.1.103:7002 192.168.1.104:7003 192.168.1.105:7004 192.168.1.106:7005 --cluster-replicas 1

Ši komanda sukurs klasterį su 3 pagrindiniais mazgais ir 3 replikos mazgais, kur kiekvienas pagrindinis mazgas turės po vieną repliką.

Prisijungimas prie „Redis“ klasterio

Prisijungimas prie „Redis“ klasterio šiek tiek skiriasi nuo prisijungimo prie vieno „Redis“ egzemplioriaus. Jums reikia naudoti „Redis“ klientą, kuris palaiko klasterio režimą. Šie klientai paprastai naudoja klasterio magistralę, kad atrastų klasterio mazgus ir nukreiptų užklausas į atitinkamus pagrindinius mazgus.

Dauguma „Redis“ klientų turi integruotą palaikymą „Redis“ klasterizavimui. Jums paprastai reikės pateikti pradinių mazgų sąrašą (t. y. žinomus kai kurių klasterio mazgų adresus) klientui. Klientas tada naudos šiuos pradinius mazgus, kad atrastų likusią klasterio topologiją.

Pavyzdys: Prisijungimas prie „Redis“ klasterio naudojant Python (redis-py-cluster)

from rediscluster import RedisCluster

# Pradiniai mazgai yra mazgų sąrašas, kurį klientas naudos klasterio topologijai atrasti.
startup_nodes = [
 {"host": "192.168.1.101", "port": "7000"},
 {"host": "192.168.1.102", "port": "7001"},
 {"host": "192.168.1.103", "port": "7002"}
]

rc = RedisCluster(startup_nodes=startup_nodes, decode_responses=True)

rc.set("foo", "bar")
print(rc.get("foo"))

„Redis“ klasteris pasaulinėse programose

„Redis“ klasteris ypač tinka pasaulinėms programoms, kurioms reikalingas mažas vėlavimas ir didelis prieinamumas geografiškai paskirstytuose regionuose. Štai keletas įprastų naudojimo atvejų:

• Spartinančioji atmintinė (Caching): Naudokite „Redis“ klasterį dažnai naudojamiems duomenims, tokiems kaip vartotojų profiliai, produktų katalogai ir API atsakymai, saugoti. Paskirstykite spartinančiąją atmintinę keliuose regionuose, kad sumažintumėte vėlavimą vartotojams skirtingose pasaulio dalyse. Pavyzdžiui, el. prekybos platforma galėtų saugoti produktų informaciją duomenų centruose, esančiuose Šiaurės Amerikoje, Europoje ir Azijoje, užtikrindama greitą prieigą klientams visame pasaulyje.
• Sesijų valdymas: Saugokite vartotojų sesijų duomenis „Redis“ klasteryje, kad užtikrintumėte nuoseklų ir keičiamo mastelio sesijų valdymo sprendimą. Repliktuokite sesijų duomenis keliuose regionuose, kad užtikrintumėte, jog vartotojai liktų prisijungę, net jei viename regione įvyktų gedimas. Tai yra labai svarbu programoms, turinčioms didelę vartotojų bazę, išsidėsčiusią skirtinguose žemynuose.
• Realaus laiko analizė: Naudokite „Redis“ klasterį realaus laiko duomenų srautams, tokiems kaip svetainės srautas, socialinių tinklų kanalai ir jutiklių duomenys, rinkti ir apdoroti. Didelis „Redis“ klasterio pralaidumas ir mažas vėlavimas daro jį idealų realaus laiko analizės programoms. Pasaulinė naujienų organizacija, pavyzdžiui, galėtų naudoti „Redis“ klasterį populiariausioms temoms sekti ir naujienų srautus personalizuoti vartotojams skirtingose šalyse.
• Žaidimų lyderių lentos: Implementuokite realaus laiko lyderių lentas internetiniams žaidimams naudodami „Redis“ klasterį. „Redis“ veikimas atmintyje leidžia itin greitai atnaujinti ir gauti lyderių lentos duomenis, užtikrinant sklandžią žaidimų patirtį žaidėjams visame pasaulyje.
• Pranešimų eilės: Naudokite „Redis“ klasterį kaip pranešimų tarpininką (message broker) asinchroniniam ryšiui tarp skirtingų mikropaslaugų. Patikimas pranešimų pristatymas ir didelis „Redis“ klasterio pralaidumas daro jį geru pasirinkimu kuriant paskirstytas sistemas. Pavyzdžiui, pavėžėjimo paslaugų programa galėtų naudoti „Redis“ klasterį pavėžėjimo užklausoms valdyti ir vairuotojams priskirti realiu laiku.

Geriausios „Redis“ klasterizavimo praktikos

Norėdami užtikrinti optimalų savo „Redis“ klasterio diegimo našumą ir patikimumą, atsižvelkite į šias geriausias praktikas:

• Naudokite nuoseklųjį maišos algoritmą: „Redis“ klasteris naudoja nuoseklųjį maišos algoritmą duomenims paskirstyti tarp mazgų. Tai užtikrina, kad duomenys būtų paskirstyti tolygiai ir kad pridedant ar šalinant mazgus iš klasterio reikėtų perkelti kuo mažiau duomenų.
• Stebėkite klasterį: Reguliariai stebėkite savo „Redis“ klasterio būklę ir našumą. Naudokite stebėjimo įrankius pagrindiniams rodikliams, tokiems kaip CPU naudojimas, atminties naudojimas, tinklo srautas ir replikacijos vėlavimas, sekti. Tai padės jums nustatyti ir išspręsti galimas problemas, kol jos nepaveikė jūsų programos.
• Konfigūruokite įspėjimus: Nustatykite įspėjimus, kurie praneštų jums apie kritinius įvykius, tokius kaip mazgų gedimai, didelis vėlavimas ar maža atminties apimtis. Tai leis jums greitai reaguoti į problemas ir sumažinti prastovas.
• Tinkamai parinkite mazgų dydį: Pasirinkite tinkamo dydžio „Redis“ egzempliorius savo darbo krūviui. Atsižvelkite į duomenų kiekį, kurį reikia saugoti, numatomą srauto apimtį ir jūsų programos našumo reikalavimus. Geriau pradėti nuo mažesnių mazgų ir prireikus juos didinti, nei pradėti nuo didelių, nepakankamai išnaudojamų mazgų.
• Naudokite replikaciją: Visada naudokite replikaciją, kad užtikrintumėte duomenų dubliavimą ir aukštą prieinamumą. Replikų skaičius priklausys nuo jūsų duomenų svarbos ir norimo atsparumo gedimams lygio.
• Venkite didelių raktų: Venkite saugoti dideles vertes „Redis“ raktuose, nes tai gali pakenkti našumui. Jei reikia saugoti didelius duomenų kiekius, apsvarstykite galimybę juos suskaidyti į mažesnes dalis arba naudoti kitą duomenų struktūrą.
• Naudokite konvejerį (Pipeline): Naudokite konvejerinį apdorojimą, kad vienu prašymu į „Redis“ serverį nusiųstumėte kelias komandas. Tai gali žymiai pagerinti našumą, ypač programoms, kurios atlieka daug mažų operacijų.
• Naudokite ryšių telkimą (Connection Pooling): Naudokite ryšių telkimą, kad pakartotinai naudotumėte ryšius su „Redis“ serveriu. Tai gali sumažinti ryšių kūrimo ir naikinimo pridėtines išlaidas, pagerinant našumą.
• Apsaugokite savo klasterį: Apsaugokite savo „Redis“ klasterį įjungdami autentifikavimą ir apribodami prieigą tik autorizuotiems klientams. Naudokite stiprius slaptažodžius ir reguliariai juos keiskite. Apsvarstykite galimybę naudoti TLS šifravimą duomenims, perduodamiems tinkle, apsaugoti.

Alternatyvos „Redis“ klasterizavimui

Nors „Redis“ klasterizavimas yra galingas sprendimas „Redis“ masteliui keisti, yra ir kitų alternatyvų, kurias verta apsvarstyti atsižvelgiant į jūsų specifinius poreikius:

• Twemproxy: Lengvas tarpinis serveris (proxy), galintis skaidyti „Redis“ duomenis tarp kelių egzempliorių. Jį paprasčiau nustatyti nei „Redis“ klasterį, tačiau jam trūksta automatinio perjungimo galimybių.
• Codis: „Redis“ tarpinis serveris, palaikantis duomenų skaidymą ir automatinį perjungimą. Jis siūlo patikimesnį sprendimą nei „Twemproxy“, tačiau jį taip pat sudėtingiau nustatyti.
• KeyDB klasteris: „KeyDB“ yra didelio našumo „Redis“ atšaka (fork), siūlanti integruotas klasterizavimo galimybes, panašias į „Redis“ klasterį. Dėl savo kelių gijų architektūros jis dažnai pasižymi geresniu našumu nei „Redis“ klasteris.
• Debesų valdomas „Redis“: Debesijos paslaugų teikėjai, tokie kaip AWS („Amazon ElastiCache for Redis“), „Google Cloud“ („Memorystore for Redis“) ir „Azure“ („Azure Cache for Redis“), siūlo valdomas „Redis“ paslaugas, kurios automatiškai tvarko klasterizavimą, replikaciją ir perjungimą. Tai gali supaprastinti jūsų „Redis“ infrastruktūros diegimą ir valdymą.

Išvada

„Redis“ klasterizavimas suteikia patikimą ir keičiamo mastelio sprendimą atmintyje esantiems duomenims valdyti pasauliniu mastu paskirstytose programose. Suprasdami jo architektūrą, privalumus ir geriausias praktikas, galite panaudoti „Redis“ klasterizavimą kurdami didelio našumo, aukšto prieinamumo ir atsparias gedimams programas, atitinkančias šiuolaikinio skaitmeninio pasaulio reikalavimus. Nesvarbu, ar kuriate spartinančiosios atmintinės sluoksnį, sesijų valdymo sistemą ar realaus laiko analizės platformą, „Redis“ klasterizavimas gali padėti jums pasiekti našumo ir mastelio keitimo tikslus.